#generative recommendation

5 篇

Training with Missed Targets in Generative Recommendation: Separating Supervision from Probability Competition

生成式推荐中未召回目标的训练：解耦监督与概率竞争

🧭 生成式推荐 · 候选补全与重排训练 ★ 深度解读

Zhejiang University · Independent Researcher

用 WN/Cond/Full 三损失分离补全候选的监督收益与跨组概率竞争，证明竞争可损害重排。

📌 工作参考价值（4 点）

在生成式推荐/固定候选池重排中，不要默认把离线未召回目标直接 append 到训练 list；append 同时改变已召回目标权重、增加 training-only 监督并引入跨组 softmax 概率竞争。建议用 WN/Cond/Full 等效三损失做消融，定位端到端提升/下降来自监督还是竞争。
若必须使用 missed targets 作为训练专属正样本，可对 returned group 与 appended group 分别归一化（Cond），避免二者竞争总概率；实现只需训练两个 group 内 listwise CE 的加权和，无需构造 offset。
多路召回/多候选源可扩展为每个 source 一个共享 offset 的分组条件训练；soft/nonuniform target weights 同样适用，零质量 source 用相应无限 offset 极限。
上线决策：用 development 用户比较 best returned-only 与 best appended-target reranker，指标用 FT-NDCG@20（分母保留未召回 target）；仅当调整后 lower CI > τ 才切换，并按 generator 独立决定，避免全局默认 append。

GenRec | 2026-10-07 | cs.IR | score 8/10

IntBMoE：块级条件专家组合的全参与 MoE

🧭 MoE 架构 · 块级专家组合 ★ 深度解读

DreamX, Alibaba Group

用代码本+超网络预组合全量专家，解耦参与/执行/物化，AMap 线上 UVCTR +2.4%

📌 工作参考价值（4 点）

面向 60ms 级延迟预算的生成式推荐/广告召回，可复用「输入无关代码本 + hypernetwork 预组合专家 + 缓存块参数」方案：训练时按 batch 摊销组合成本，推理前一次性预计算 composed blocks，请求期只执行 Top-k 块，专家池大小 E 不再直接影响线上 FLOPs。
DPRG 是低成本增强专家交互的 trick：对同一组 expert bases 组合 value path 和 gate path，gate 用 RMSNorm+SiLU 做乘法 residual 调制，不扩大专家数即可增加非线性；适合替换现有多专家融合中的简单加权或 convex combination。
block-conditioned feature filter 可将 token/用户表示与 block code 拼接，再生成 sigmoid 软掩码，给不同专家块提供不同输入视图；可借鉴到多兴趣召回、多场景建模中的软过滤门控。
组合系数不做 softmax/sigmoid，保留负值并加 1/√E 缩放，是提升组合表达范围的实用做法；业务上做 expert fusion 时可尝试替代标准归一化系数。

LLM | 2026-09-17 | HF Daily | score 8/10

WhisperRec：用潜在推理压缩思维链，实现高效基础推荐模型

🧭 生成式推荐 · 潜在推理 Semantic ID ★ 深度解读

Kuaishou Technology

将显式思维链压缩为可学习的潜在 token，在保持推理语义的同时提升 10 倍以上吞吐量

📌 工作参考价值（4 点）

用潜在 token 代替长文本 CoT：在需要 LLM 推理的推荐系统中，避免生成繁杂的自然语言解释，直接插入少量可学习 latent token，推理延迟接近无 CoT 模型，吞吐量提升 >10 倍，适合在线低延迟场景。
多视角自适应 CoT 构造高质量监督：从探索（开放意图发现）、评估（候选打分）和归因（转化证据）三个视角构造互补推理轨迹，并结合行为信号强度自适应调整推理深度，避免简单样本过度推理和困难样本分析不足。在电商广告推荐中可借鉴此思路，用业务规则定义不同视角的推理模板。
三阶段潜在推理对齐：先单视图对齐，再多视图对齐，最后推荐导向上下文对齐，逐步将大教师模型的 CoT 知识内化到 latent token 中。该方法可用于将复杂推理能力从大模型蒸馏到线上部署的小模型，工程上可结合 KV cache 复用进一步降低开销。
基于课程的多阶段后训练：从高活跃用户到低活跃用户的课程式微调，缓解稀疏行为下的推荐效果退化。在用户冷启动或行为稀疏的业务中，可迁移此策略提升模型鲁棒性。

GenRec | 2026-07-29 | cs.IR | score 10/10

SIDInspector：面向语义 ID 分词器的映射优先诊断资源

🧭 生成式推荐 · Semantic ID 诊断与剖析 ★ 深度解读

Huawei Technologies

提供一种映射层诊断资源，在生成式推荐训练前揭示 SID 分词器的地址空间缺陷。

📌 工作参考价值（4 点）

映射健康检查前置：在启动 generator 训练前，用利用率、别名、前缀邻域对齐、流行度分配、结构成本等探针快速诊断 SID 分词器产物，避免因覆盖缺失或严重别名导致 GPU 浪费。可封装为内部评估模块，集成到 pipeline 中。
分离可寻址性与行为对齐：表 2 的核心发现——item-unique 的地址空间并不保证前缀具有行为意义（D3 指标差异显著）。设计 SID 时不应仅追求无冲突码空间，需独立评估前缀捕获协同信号的能力，例如引入 D3 类探针。
轻量适配器契约：通过统一定义 item_id→sid_0…sid_L 的最小表结构，可将不同分词器（RQ-KMeans、GAOQ、LETTER 等）归一化到同一诊断框架。在团队内部为不同的 tokenizer 实验建立统一出口规范，降低对比成本。
控制行与机制探针校准：用已知压力源（如哈希碰撞、类别前缀、容量预算）生成对照行，验证诊断指标的灵敏性和区分度。在自研评估工具时，集成此类探针可以确保新指标的有效性。

GenRec | 2026-06-09 | cs.IR | score 10/10

TubiFM：统一物品、轮播与搜索排序的流媒体推荐模型

🧭 生成式推荐 · 多任务统一排序 ★ 深度解读

Tubi

将用户跨表面的行为序列化为“用户故事”，通过单一生成式模型统一物品、轮播和搜索排序，简化系统并提升多任务效果。

📌 工作参考价值（4 点）

统一用户行为表示：将搜索、观看、轮播曝光等异构信号序列化为“用户故事”，可作为电商场景中浏览、搜索、购买行为的统一输入格式，避免为不同任务维护多套特征工程。
单一模型处理多任务：通过不同提示词完成物品排序、容器排序、搜索排序，无需多任务头，可直接借鉴到电商首页推荐、频道排序和搜索排序的模型合并，降低系统复杂度。
原子token与掩码训练：使用原子item token而非Semantic ID，减少推理开销；训练时随机掩码carousel token，增强模型对容器无关排名的泛化能力，适合电商中跨场景打分。
工程落地启示：用1B LLM取代多阶段召回+排序流水线，p99延迟从500ms降至200ms，在搜索上TVT提升3.9%，证明生成式统一排序可在简化架构的同时保持或提升业务指标。

RecSys | 2026-05-22 | cs.IR | score 10/10